- 综合排序
- 最热优先
- 最新优先
- 来自专栏DevOps
数据湖管理篇之Apache Iceberg
在文件format(parquet/avro/orc)之上实现table语义 支持定义和变更schema 支持hidden partition 和partition变更 acid语义 历史版本回溯
29710编辑于 2024-03-29 - 来自专栏暴走大数据
Apache Iceberg源码分析：数据存储格式
Apache Iceberg作为一款新兴的数据湖解决方案在实现上高度抽象，在存储上能够对接当前主流的HDFS，S3文件系统并且支持多种文件存储格式，例如Parquet、ORC、AVRO。 相较于Hudi、Delta与Spark的强耦合，Iceberg可以与多种计算引擎对接，目前社区已经支持Spark读写Iceberg、Impala/Hive查询Iceberg。 本文基于Apache Iceberg 0.10.0，介绍Iceberg文件的组织方式以及不同文件的存储格式。 Iceberg Table Format 从图中可以看到iceberg将数据进行分层管理，主要分为元数据管理层和数据存储层。 总结 本文主要介绍了Iceberg不同文件的存储格式，讲解了不同字段中的作用，正是这些元数据管理保证了iceberg能够进行高效快速的查询，后续会根据这些文件进一步分析iceberg写入和查询过程。
2.7K20发布于 2021-11-16 - 来自专栏大数据技术架构
Lakehouse 特性对比 | Apache Hudi vs Delta Lake vs Apache Iceberg
简介 随着 Lakehouse 的日益普及，人们对分析和比较作为该数据架构核心的开源项目的兴趣日益浓厚：Apache Hudi、Delta Lake 和 Apache Iceberg。 Iceberg 有增量读取，但它只允许您读取增量附加，没有更新/删除，这对于真正的变更数据捕获和事务数据至关重要。 分区演进 Apache Iceberg 经常强调的一个特性是隐藏分区，它解锁了所谓的分区演化。 所有这三种技术，Hudi、Delta、Iceberg，对于某些用例都有不同的起源故事和优势。Iceberg 诞生于 Netflix，旨在解决文件列表等云存储规模问题。 “在决定引擎时，我们检查了三个最流行的数据湖引擎，Hudi、Iceberg 和 DeltaLake。这三者在我们的场景中各有优缺点。
2.5K21编辑于 2022-12-01 使用Apache Iceberg构建可复现ML系统
构建可复现的ML系统：Apache Iceberg与SparkSQL开源基础机器学习数据可复现性问题常见痛点数据漂移悄无声息地发生：特征分布随时间推移而变化，直到模型开始做出不合理预测时才会被发现。 Iceberg机器学习基础真正有效的时间旅行Iceberg的时间旅行基于快照架构，为每个写入操作维护完整的表元数据。每个快照代表表在特定时间点的一致视图，包括模式、分区等所有内容。 Apache Hudi针对流式用例进行优化，具有复杂索引。考虑将其用于具有重度流式要求或复杂更新模式的机器学习系统。有时普通的Parquet表就足够了。 Apache Iceberg和SparkSQL为构建在生产中可靠工作的机器学习系统提供了坚实基础。时间旅行、模式演进和ACID事务的组合解决了多年来困扰机器学习基础设施的基本数据管理挑战。 Iceberg代表了成熟、生产就绪的解决方案，帮助组织构建具有与传统企业应用相同可靠性期望的机器学习系统。
23910编辑于 2025-09-11- 来自专栏Hadoop实操
0926-Apache Iceberg的开源Catalog - Polaris Catalog
尽管很多人已经在使用开放文件和表格式，但引擎和catalog之间存在许多相互依赖的限制，这造成了锁定，从而降低了 Iceberg 开放标准的价值。 为了提高互操作性，Apache Iceberg 社区开发了 REST 协议的开放标准。开放 API 规范是实现互操作性的一大步，将Iceberg运行在任何存储之上，而与供应商无关。 所以Snowflake推出Polaris Catalog，为企业和Iceberg社区提供一种全新的选择，包括Apache Iceberg 与 Amazon Web Services (AWS)、Confluent 适用于所有引擎的标准化catalog协议可实现多引擎互操作性，幸运的是Apache Iceberg 社区已为 REST 协议创建了开源规范。 Polaris Catalog 实现了 Iceberg 的开放 REST API，目前支持的引擎包含Apache Doris、Apache Flink、Apache Spark、PyIceberg、StarRocks
1.1K10编辑于 2024-06-06 StarTree支持Apache Iceberg扩展湖仓用例
StarTree支持Apache Iceberg以扩展湖仓用例基于Apache Pinot开源在线分析处理数据库的实时分析平台和云服务提供商StarTree Inc.今日宣布全面支持Apache Iceberg 从即日起，StarTree Cloud托管服务将采用Iceberg作为其数据湖仓之上的分析和服务层。该举措为需要跨越数千并发用户的高并发实时应用中的Iceberg创造了新的使用场景。 特别是，它使Iceberg能够更轻松地应用于面向客户的场景，使组织能够在不依赖复杂的多步骤管道的情况下对外暴露数据。Iceberg是位于云存储数据文件之上的管理层，旨在提高一致性、可管理性和查询性能。 Iceberg提供对Parquet等结构化文件的事务性访问，Parquet是一种针对大型分析数据集高效读写访问优化的列式存储文件格式。然而，Iceberg缺乏处理低延迟、高并发查询的原生能力。 Meley表示，支持Iceberg的决定既反映了市场势头，也反映了实际的客户需求。"我们所有的客户都在询问Iceberg，"他说。"
13900编辑于 2025-10-06StarRocks 4.0：让 Apache Iceberg 数据真正 Query-Ready
面对 Apache Iceberg 等开放格式中“小文件过多、查询延迟高”的挑战，StarRocks 4.0 将数据仓库级的治理理念引入 Lakehouse 架构，实现了从写入、组织到维护的全链路提速。 在 Apache Iceberg 表中，数据的写入方式往往并未针对查询性能进行优化。持续不断的微批写入会产生成千上万个小文件；也很难做到让数据在写入后的第一时间就能被快速查询。 我们将这一理念引入 Apache Iceberg，构建了两层优化机制。1. StarRocks 如何让这一理念落地StarRocks 是一款为 Apache Iceberg 等开放格式而生的高性能 SQL 引擎，专注于低延时与高并发查询。 Benchmarks我们针对 Apache Iceberg 表进行了多组写入测试，对比 StarRocks 4.0 与 3.4 版本在不同负载下的表现。
26910编辑于 2025-11-14- 来自专栏ApacheHudi
数据湖Apache Hudi、Iceberg、Delta环境搭建
引入 作为依赖Spark的三个数据湖开源框架Delta，Hudi和Iceberg，本篇文章为这三个框架准备环境，并从Apache Spark、Hive和Presto的查询角度进行比较。 -2.3.6-bin presto-server-329.tar org.apache.iceberg:iceberg-spark-runtime:0.7.0-incubating org.apache.hudi #39. import org.apache.iceberg.hive.HiveCatalog import org.apache.iceberg.catalog._ import org.apache.iceberg.Schema import org.apache.iceberg.types.Types._ import org.apache.iceberg.PartitionSpec import org.apache.iceberg.spark.SparkSchemaUtil import org.apache.iceberg.hadoop.HadoopTables val name = TableIdentifier.of("default","iceberg_tab01
4.2K30发布于 2021-04-13 StarRocks 4.0：基于 Apache Iceberg 的 Catalog 中心化访问控制
StarRocks 4.0 联合 Apache Iceberg，借助 REST Catalog 的统一治理能力与 JWT 身份认证、临时凭证机制（Vended Credential），为多引擎湖仓架构提供了一种全新的安全访问方式 Apache Iceberg 提供了一种开放、通用的表格式，任何计算引擎都可以直接使用。但这种灵活性也带来了新的挑战：当每个引擎都需要访问相同数据时，如何确保访问控制既统一又可审计？ 引擎通过自身的授权系统，或对接外部策略管理器（如 Apache Ranger）来实现统一治理。 这种以引擎为中心的安全模式在 Apache Iceberg 体系中并不适用。 参考架构：StarRocks 4.0 在 Apache Iceberg 上的实践在实际落地中，这种以 Catalog 为核心的安全模型可归纳为一个简洁而高效的流程：引擎负责用户认证，Catalog 负责权限判断
23910编辑于 2025-11-02- 来自专栏快乐阿超
iceberg
——梭罗的《瓦尔登湖》 https://github.com/apache/iceberg https://iceberg.apache.org/ Apache Iceberg：现代数据湖的高性能格式 本文将介绍什么是 Apache Iceberg、其主要功能及其生态系统，并指导你如何开始使用它。 什么是 Apache Iceberg？ Apache Iceberg 是一种用于大规模分析数据表的高性能开源格式。它由 Netflix 发起，并在 2018 年贡献给 Apache 软件基金会。 如何开始使用 Apache Iceberg 开始使用 Apache Iceberg 非常简单。 示例代码 以下是一个简单的示例，展示了如何在 Apache Spark 中使用 Iceberg： import org.apache.iceberg.Table; import org.apache.iceberg.catalog.TableIdentifier
87310编辑于 2025-03-03 - 来自专栏LakeHouse
Iceberg
一 Iceberg1 hive1.数据更改效率低2.无法在一次操作中安全地更改多个分区中的数据3.在实践中，修改同一数据集的多个作业不是安全的操作4.大型表所需的所有目录列表都需要很长时间5.用户比较知道每张表实际的物理布局 6.性能差2 Why Iceberg1. 在数据、用户和应用程序规模上实现上述所有目标3 What is Iceberg iceberg = 元数据+数据元数据 = metadata + manifestlist_file + manifest_file Iceberg 即将推出一种新的数据更改策略，称为“读取时合并”，其幕后行为会有所不同，但仍会为您提供相同的更新和删除功能。 不是引擎，以上过程实际过程都是集成Iceberg的其他工具或者引擎来完成；部分翻译：https://www.dremio.com/resources/guides/apache-iceberg-an-architectural-look-under-the-covers
41522编辑于 2024-11-26 - 来自专栏Hadoop实操
0910-Apache Hive 4.x与Iceberg分支和标签
https://iceberg.apache.org/hive-quickstart/ 2.创建一张iceberg表 CREATE TABLE test (ID INT) STORED BY ICEBERG select * from default.test.refs; 写入分支 数据可以像普通iceberg表一样被摄取到iceberg表分支中，在查询中需要按以下方式指定分支名称。 tag1，drop tag语法还支持“IF EXISTS”子句，以防止标签已删除或不存在时出现错误，如： ALTER TABLE test DROP TAG IF EXISTS tag1; 注意：本文提到的Apache 4.0.0-beta-2-SNAPSHOT版本的 docker镜像不是官方Apache Hive版本，仅适用于开发使用。 原文参考： https://medium.com/@ayushtkn/apache-hive-4-x-with-iceberg-branches-tags-3d52293ac0bf
1.1K30编辑于 2023-11-16 - 来自专栏深度学习与python
Apache Iceberg未来蓝图：Open Lakehouse闭门会核心洞察
你可以想象一下这个场面：来自 Apache Spark, Delta Lake, Apache Iceberg, Unity Catalog, Apache Polaris, Apache Arrow 会场爆满的实况（我就在右下角那一桌，头刚好被 Apache Parquet PMC Chair Julien Le Dem 给挡住） Apache Iceberg 的现在 2025 年 6 月，Apache 社区协作成就：开放生态的里程碑式突破 正如 Databricks 博文所述，Iceberg V3 的核心突破在于“实现 Delta Lake、Apache Parquet 与 Apache Spark Iceberg 和 Parquet 社区关于地理类型的统一堪称跨社区治理的经典案例： 我们联合 Apache Sedona（空间计算）、GeoParquet（存储标准）、Apache Iceberg 和 Apache Iceberg 的未来 虽然 Iceberg V3 才刚刚定版没多久，社区成员们也没有闲着，已经在着手进行下一个版本也就是 Iceberg V4 的筹划。
78010编辑于 2025-06-29 数据湖新纪元：Apache Iceberg如何重塑大数据存储与计算格局
在这一背景下，Apache Iceberg作为开放表格式标准，与云计算相结合，为企业提供了高效、灵活的数据管理新范式。 正文 一、Apache Iceberg：大数据领域的"颠覆者" Apache Iceberg是一种专为大规模分析数据集设计的开放表格式，可简单理解为介于计算层（如Flink、Spark）和存储层（如ORC 三、腾讯云数据湖计算DLC：释放Iceberg潜力的钥匙 虽然Iceberg提供了优秀的表格式，但要充分发挥其价值，仍需强大的计算引擎和支持平台。 结语 Apache Iceberg作为新一代数据湖表格式，通过其先进的架构设计解决了大数据领域的诸多痛点。而与腾讯云数据湖计算DLC的结合，使得企业能够以更低成本、更高效率构建现代化数据平台。 Apache Iceberg与腾讯云DLC的结合，为企业提供了一条通向智能数据管理的捷径，助力企业在数据驱动的时代保持竞争优势。
55510编辑于 2025-10-27- 来自专栏码字搬砖
掌握 Apache Iceberg 的关键：Equality Delete 和 Position Delete 的原理与应用
Apache Iceberg 作为一款流行的表格格式，为数据湖提供了高效的存储和管理解决方案。 在 Iceberg 中，Equality Delete 和 Position Delete 是两种重要的行级删除机制，它们在不同的场景下发挥着关键作用。 总结 在 Apache Iceberg 中，Equality Delete 和 Position Delete 各有优劣，适用于不同的场景。 希望这篇博客能帮助你更好地掌握 Iceberg 的删除机制，在大数据处理的道路上更进一步！
31110编辑于 2025-05-16 - 来自专栏暴走大数据
Apache Iceberg技术调研&在各大公司的实践应用大总结
为此，Uber 开源了 Apache Hudi，Databricks 提出了 Delta Lake，而 Netflix 则发起了 Apache Iceberg 项目，一时间这种具备 ACID 能力的表格式中间件成为了大数据 Flink+Iceberg 的落地 Iceberg 技术调研 基于 HDFS 小文件、查询慢等问题，结合我们的现状，我调研了目前市面上的数据湖技术：Delta、Apache Iceberg 和 Apache 基于 Flink+Iceberg 构建企业级实时数据湖 目前 Apache Iceberg 0.10.0 版本上实现 Flink 流批入湖功能，同时还支持 Flink 批作业查询 Iceberg 数据湖的数据 ，github 上下载源码进行编译，此处略过下载过程直接进行编译 cd iceberg-apache-iceberg-0.11.1 gradle build -x test 2. = org.apache.iceberg.spark.SparkCatalog spark.sql.catalog.iceberg.type = hive spark.sql.catalog.iceberg.uri
4.9K20发布于 2021-07-07 - 来自专栏腾讯云流计算 Oceanus
实时数仓-Iceberg
升级架构升级之后的架构如下，我们引入了 Iceberg。 Iceberg何以解决这些问题Iceberg 架构解析从存储角度上来看 Iceberg 分为三层。 Iceberg 为何可以处理大量元数据？总体来讲 Iceberg 分为两部分数据，第一部分是数据文件，例如下图中的 Parquet 文件，每个数据文件对应一个校验文件（.crc文件）。 Iceberg 何以能做近实时入湖我们以 Flink 写入 Iceberg 为例详细阐述为何 Iceberg 只能做近实时的入湖，如下图所示:图片其中，IcebergStreamWriter 主要用来写入记录到对应的 IcebergFilesCommitter 主要用来在 Checkpoint 到来时把所有的 DataFile 文件收集起来并提交 Transaction 到 Apache Iceberg，完成本次 Checkpoint
1.5K30编辑于 2022-06-06 - 来自专栏公有云大数据平台弹性 MapReduce
通过数据组织优化加速基于Apache Iceberg的大规模数据分析
本文将介绍腾讯如何在Apache Iceberg上通过数据组织优化来加速大规模数据分析。 Iceberg支持分区表和隐式分区技术，所以很自然地支持分区裁剪优化。 image.png 文件过滤：上文我们提到Iceberg提供了文件级别的统计信息，例如Min/Max等。 下面我们来看看腾讯Iceberg是如何实现了基于Z-Order的OPTIMIZE功能。 3. Iceberg上的技术实现剖析 image.png 腾讯Iceberg支持两种策略的OPTIMIZE，即全量（all）和增量（incremental）。 小结 本文介绍了腾讯Iceberg基于Z-Order算法实现了数据组织优化，并从多角度的性能测评中可以看出，Iceberg表经过OPTIMIZE之后可以极大地提升查询性能。
3K141发布于 2021-07-06 - 来自专栏技术学习笔记
Iceberg表格式
Iceberg表是Hive表的一个超集。Hive基于文件夹级别追踪数据，Iceberg支持基于文件级别追踪数据。 Iceberg构成 Catalog Iceberg Catalog 是Iceberg的顶层组件，负责管理所有 Iceberg表的元数据和元数据操作，为计算引擎提供统一的接口访问和操作Iceberg表的元数据 Iceberg会按照分区策略进行数据文件组织，以便优化数据访问；Iceberg更新时会产生大量小数据文件。 附录 Apache Iceberg: An Architectural Look Under the Covers Apache Iceberg Architecture-Iceberg 架构详解 Apache Iceberg快速入门
88610编辑于 2025-03-14 - 来自专栏暴走大数据
Flink集成Iceberg小小实战
概述 Apache Iceberg is an open table format for huge analytic datasets. Flink+ Iceberg搭建使用 Apache Iceberg支持Apache Flink的DataStream Api和Table Api写记录进iceberg表。 当前，我们只集成Iceberg和apache flink 1.11.x。 ? 3.1. 准备两个jar包： 从apache官方仓库下载flink-runtime.jar，https://repo.maven.apache.org/maven2/org/apache/iceberg/iceberg-flink-runtime WITH ('key'='value', ...)设置将存储在 apache iceberg 表属性中的表配置。 目前，它不支持计算列、主键和水印定义等。
6.5K60发布于 2021-07-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号